Stelmakh sinh ra ở Mykolaiv, Ukraina trong một gia đình Do Thái. Năm 1919, Stelmakh tình nguyện gia nhập Hồng quân. Ông đã chiến đấu trong Nội chiến Nga, được nhận vào trường chỉ huy bộ binh (1921), và ở lại quân đội. Năm 1926, ông tốt nghiệp Học viện Quân sự Frunze. Sự thăng tiến của ông rất nhanh chóng: tham mưu trưởng sư đoàn súng trường (1926-1931), tham mưu trưởng lực lượng Liên Xô ở Viễn Đông (còn được gọi là Tập đoàn quân đặc biệt Viễn Đông Cờ đỏ - OKDVA; 1932-1935), Tư lệnh Sư đoàn súng trường 12 (1935-1938).

Trong thời kỳ Đại thanh trừng, Stelmakh bị bắt và bị bỏ tù (1938-1940). May mắn sau đó ông được miễn tội, trả tự do và thăng cấp Thiếu tướng. Do nhu cầu của Hồng quân chuẩn bị một thế hệ chỉ huy cấp cao mới, Stelmakh, cùng với các sĩ quan Hồng quân lành nghề khác, đã được cử đến giảng dạy như một giảng viên cao cấp tại Học viện Quân sự Frunze (1940-1941).